We propose a new model-based offline RL framework, called Adversarial Models for Offline Reinforcement Learning (ARMOR), which can robustly learn policies to improve upon an arbitrary baseline policy regardless of data coverage. Based on the concept of relative pessimism, ARMOR is designed to optimize for the worst-case relative performance when facing uncertainty. In theory, we prove that the learned policy of ARMOR never degrades the performance of the baseline policy with any admissible hyperparameter, and can learn to compete with the best policy within data coverage when the hyperparameter is well tuned, and the baseline policy is supported by the data. Such a robust policy improvement property makes ARMOR especially suitable for building real-world learning systems, because in practice ensuring no performance degradation is imperative before considering any benefit learning can bring.

供应链平台（SCP）为下游行业提供了许多原材料。与传统的电子商务平台相比，由于用户兴趣有限，SCP中的数据更为稀疏。为了解决数据稀疏问题，可以应用跨域建议（CDR），从而通过源域信息提高目标域的建议性能。但是，将CDR应用于SCP，直接忽略了SCP中商品的层次结构，从而降低了建议性能。为了利用此功能，在本文中，我们以餐饮平台为例，并提出了图形跨域推荐模型GRES。该模型首先构造了树状图，以表示菜肴和成分不同节点的层次结构，然后应用我们提出的Tree2Vec方法将GCN和BERT模型组合到嵌入图中以嵌入图表以获取建议。商业数据集上的实验结果表明，GRES在供应链平台的跨域建议中明显优于最先进的方法。

在6G无线通信网络中，按需服务提供是一个至关重要的问题，因为新兴服务的需求大大不同，并且网络资源变得越来越异质和动态。在本文中，我们研究了按需无线资源编排问题，重点是编排决策过程的计算延迟。具体而言，我们将决策延迟延迟到优化问题。然后，提出了一个基于动态的神经网络（DYNN）的方法，可以根据服务要求调整模型复杂性。我们进一步建立一个知识库，代表服务需求之间的关系，可用的计算资源和资源分配绩效。通过利用知识，可以及时选择DYNN的宽度，从而进一步提高编排的性能。仿真结果表明，所提出的方案大大优于传统的静态神经网络，并且在按需服务提供方面也表现出足够的灵活性。

当一个用户将多个不同的任务卸载到边缘服务器时，任务调度是一个关键问题。当用户有多个任务要卸载，并且一次只能将一个任务传输到服务器，而服务器根据传输顺序处理任务时，问题是NP-HARD。但是，传统优化方法很难快速获得最佳解决方案，而基于强化学习面孔的方法和过度的动作空间和缓慢收敛的挑战。在本文中，我们提出了一种基于RL的Digital Twin（DT）辅助任务调度方法，以提高RL的性能和收敛性。我们使用DT来模拟代理商做出的不同决策的结果，以便一个代理可以一次尝试多个操作，或者类似地，多个代理可以在DT中并行与环境交互。通过这种方式，RL的勘探效率可以通过DT显着提高，因此RL可以更快地收敛，而局部最优性不太可能发生。特别是，设计了两种算法来制定任务调度决策，即DT辅助异步Q学习（DTAQL）和DT辅助探索Q-Learning（DTEQL）。仿真结果表明，两种算法都通过提高勘探效率显着提高了Q学习的收敛速度。

我们根据相对悲观主义的概念，在数据覆盖不足的情况下提出了经过对抗训练的演员评论家（ATAC），这是一种新的无模型算法（RL）。 ATAC被设计为两人Stackelberg游戏：政策演员与受对抗训练的价值评论家竞争，后者发现参与者不如数据收集行为策略的数据一致方案。我们证明，当演员在两人游戏中不后悔时，运行ATAC会产生一项政策，证明1）在控制悲观程度的各种超级参数上都超过了行为政策，而2）与最佳竞争。 policy covered by data with appropriately chosen hyperparameters.与现有作品相比，尤其是我们的框架提供了一般函数近似的理论保证，也提供了可扩展到复杂环境和大型数据集的深度RL实现。在D4RL基准测试中，ATAC在一系列连续的控制任务上始终优于最先进的离线RL算法。

异构信息网络（HIN）捕获各种实体之间的复杂关系，并已广泛用于提高各种数据挖掘任务的有效性，例如在推荐系统中。许多现有的文欣推荐算法利用手工制作的元路径来提取来自网络的语义信息。这些算法依赖于广泛的域知识，可以选择最佳的元路径集。对于HIN与众多节点和链路类型高度复杂的应用程序，手工制作方法的方法太繁琐，并且容易出错。为了解决这个问题，我们提出了基于加强学习的元路径选择（RMS）框架，以选择有效的元路径，并将它们包含在现有的基于元路径的推荐中。为了识别高质量的元路径，RMS列举了基于加强学习（RL）的策略网络（代理），从而从下游推荐任务的性能获取奖励。我们设计一个基于HIN的推荐模型，HREC，有效地使用元路径信息。我们将HREC与RMS进行了整合并导出了我们的推荐解决方案，RMS-HREC，它自动使用有效的元路径。实验对实时数据集表明，我们的算法通过自动捕获重要元路径，可以显着提高推荐模型的性能。

注册森林环境的点云是精密林业局部激光雷达应用的必要先决条件。最先进的森林点云登记方法需要提取单个树属性，并且在处理具有致密树的真实森林点云时，它们具有效率的瓶颈。我们提出了一种自动，坚固，高效的方法，用于登记森林点云。我们的方法首先定位树从原料点云茎，然后根据他们的相对空间关系确定准变换茎匹配。相较于现有的方法，我们的算法不需要额外的单株属性，具有线性复杂的环境中的树木数量，允许它的大森林环境对齐点云。广泛的实验表明，我们的方法优于关于登记精度和稳健性的最先进的方法，并且在效率方面显着优于现有技术。此外，我们引入一个新的基准数据集，补充的开发和注册方法评价森林点云的极少数现有的开放的数据集。

使用悲观，推理缺乏详尽的勘探数据集时的脱机强化学习最近颇具知名度。尽管它增加了算法的鲁棒性，过于悲观的推理可以在排除利好政策的发现，这是流行的基于红利悲观的问题同样有害。在本文中，我们介绍一般函数近似的Bellman-一致悲观的概念：不是计算逐点下界的值的功能，我们在超过设定的与贝尔曼方程一致的功能的初始状态实现悲观。我们的理论保证只需要贝尔曼封闭性作为探索性的设置标准，其中基于奖金的情况下的悲观情绪未能提供担保。即使在线性函数逼近的特殊情况下更强的表现力假设成立，我们的结果由$ \ mathcal {}Ø（d）在其样品的复杂$在最近的基于奖金的方法改善的时候，动作的空间是有限的。值得注意的是，我们的算法，能够自动适应事后最好的偏差 - 方差折中，而大多数现有的方法中需要调整的额外超参数的先验。

当图形亲和力矩阵是由$ n $随机样品构建的，在$ d $ d $维歧管上构建图形亲和力矩阵时，这项工作研究图形拉普拉斯元素与拉普拉斯 - 贝特拉米操作员的光谱收敛。通过分析DIRICHLET形成融合并通过歧管加热核卷积构建候选本本函数，我们证明，使用高斯内核，可以设置核band band band band parame $ \ epsilon \ sim \ sim（\ log n/ n/ n）^{1/（D /2+2）} $使得特征值收敛率为$ n^{ - 1/（d/2+2）} $，并且2-norm中的特征向量收敛率$ n^{ - 1/（d+） 4）} $;当$ \ epsilon \ sim（\ log n/n）^{1/（d/2+3）} $时，eigenValue和eigenVector速率均为$ n^{ - 1/（d/2+3）} $。这些费率最高为$ \ log n $因素，并被证明是有限的许多低洼特征值。当数据在歧管上均匀采样以及密度校正的图laplacian（在两个边的度矩阵中归一化）时，结果适用于非归一化和随机漫步图拉普拉斯laplacians laplacians laplacians以及密度校正的图laplacian（其中两侧的级别矩阵）采样数据。作为中间结果，我们证明了密度校正图拉普拉斯的新点和差异形式的收敛速率。提供数值结果以验证理论。

In this paper, we present a novel visual SLAM and long-term localization benchmark for autonomous driving in challenging conditions based on the large-scale 4Seasons dataset. The proposed benchmark provides drastic appearance variations caused by seasonal changes and diverse weather and illumination conditions. While significant progress has been made in advancing visual SLAM on small-scale datasets with similar conditions, there is still a lack of unified benchmarks representative of real-world scenarios for autonomous driving. We introduce a new unified benchmark for jointly evaluating visual odometry, global place recognition, and map-based visual localization performance which is crucial to successfully enable autonomous driving in any condition. The data has been collected for more than one year, resulting in more than 300 km of recordings in nine different environments ranging from a multi-level parking garage to urban (including tunnels) to countryside and highway. We provide globally consistent reference poses with up to centimeter-level accuracy obtained from the fusion of direct stereo-inertial odometry with RTK GNSS. We evaluate the performance of several state-of-the-art visual odometry and visual localization baseline approaches on the benchmark and analyze their properties. The experimental results provide new insights into current approaches and show promising potential for future research. Our benchmark and evaluation protocols will be available at https://www.4seasons-dataset.com/.